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Vorwörtchen 



„Diese Arbeit ist ursprünglich im Rahmen eines Seminars der Rheinischen 
Friedrich-Wilhelms-Universität Bonn entstanden, wurde und wird jedoch 
(nachdem vorgetragen und online verfügbar gemacht unter 
www.dkriesel.com am 27.05.2005) immer mehr erweitert - erstens, um mit 
der Zeit einen möglichst guten Überblick über das Thema der Neuronalen 
Netze liefern zu können und zweitens schlicht und einfach, weil ich daran 
immer mehr und besser lAT^X lernen möchte. Wer weiss, vielleicht wird aus 



dieser 



Aus der obenstehenden Zusammenfassung 
ist bis jetzt zwar kein Vorwort, aber im- 
merhin ein Vorwörtchen geworden, nach- 
dem sich die Erweiterung der Arbeit (da- 
mals auf 40 Seiten) bei mir unverhofft zum 
Downloadschlager entwickelt hat. 



Anspruch und Intention dieses 
Manuskripts 

Der ganze Text ist großzügiger geschrie- 
ben und ausführlicher bebildert als früher. 
Die Illustrationen sind nun „nach meinem 
Gusto“ selbst erstellt, zum Großteil direkt 
in LTj^X unter Verwendung des Pakets 
XYpic. Sie spiegeln das wieder, was ich 
mir beim Erarbeiten des Stoffs gewünscht 
hätte, sollen also mit dem Text zusammen 
möglichst eingängig und schnell verständ- 
lich sein, um möglichst vielen einen Ein- 



Zusammenfassung ja sogar einmal ein Vorwort!" 
Zusammenfassung dieser Arbeit, Ende 2005 

stieg in das Gebiet der Neuronalen Netze 
zu ermöglichen. 

Trotzdem kann der mathematisch und for- 
mal versierte Leser die Definitionen wei- 
testgehend ohne Fließtext lesen, der nur 
an dem Gebiet an sich interessierte Le- 
ser umgekehrt; alles wird also sowohl um- 
gangssprachlich wie auch formal erklärt. 
Ich bitte ausdrücklich um Hinweise, falls 
ich diese Doppelmoral einmal nicht ausrei- 
chend bewerkstelligt haben sollte. 



Abschnitte dieser Arbeit sind 
weitestgehend eigenständig 

Das Dokument selbst gliedert sich in meh- 
rere Teile, die sich wiederum in Kapitel 
teilen. Trotz Querverweisen untereinander 
kann man die Kapitel mit nur geringem 
Vorwissen auch für sich selbst lesen. Hier- 
bei gibt es größere und kleinere Kapitel: 
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Während die größeren einen etwas fundier- 
teren Einblick in ein Paradigma Neurona- 
ler Netze geben sollen (z.B. beim Stan- 
dardbeispiel Neuronaler Netze, dem Per- 
ceptron und seiner Lernverfahren), sind 
die kleineren für einen kurzen Überblick 
gedacht - dies wird in der jeweiligen Kapi- 
teleinleitung auch beschrieben. In einigen 
Exkursen möchte ich noch gerne im Zu- 
sammenhang interessantes, aber nicht di- 
rekt dem Stoff zugehöriges Wissen vermit- 
teln. 

Auf der Suche nach kostenlosen deutschen 
Quellen, die inhaltlich (was die Paradig- 
men Neuronaler Netze angeht) vielfältig, 
aber trotzdem durchgehend einheitlichen 
Stils sind, bin ich (zumindest was deutsch- 
sprachiges Material angeht) leider nicht 
wirklich fündig geworden. Das Ziel dieser 
Arbeit (auch wenn sie es vielleicht nicht 
auf Anhieb erfüllen kann) ist, diese Lücke 
nach und nach zu schließen und das Fach- 
gebiet auf leicht verständliche Weise zu- 
gänglich zu machen. 

Für diejenigen, die direkt 
während des Lesens 
programmieren möchten, gibt 
es SNIPE 

SNIPE 1 ist eine ausführlich dokumen- 
tierte JAVA-Bibliothek, welche ein schnel- 
les, feature-reiches und einfach benutzba- 

1 Scalable and Generalized Neural Information Pro- 
cessing Engine, Download unter http://www. 
dkriesel.com/tech/snipe Online-JavaDoc un- 
ter http: / / snipe . dkriesel . com 



res Framework für Neuronale Netze imple- 
mentiert. Für nichtkommerzielle Einsatz- 
gebiete ist es kostenlos verfügbar. Es war 
von mir ursprünglich für den Einsatz in 
Hochleistungssimulationen konzipiert, in 
denen sehr viele, auch große Netze gleich- 
zeitig trainiert und ausgeführt werden. Vor 
kurzem habe ich mich nun entschieden, 
Snipe als professionelle Referenzimplemen- 
tierung zu dieser Arbeit online zu stel- 
len, die sehr viele der behandelten Aspek- 
te abdeckt, aber angesichts des ursprüng- 
lichen Design-Ziels effizienter arbeitet als 
die meisten anderen Implementierungen. 
Wer also direkt vieles vom Gelernten aus- 
probieren möchte oder aus anderen Grün- 
den nach dem Lernen eine schnelle und 
stabile Neuronale-Netze- Implementierung 
braucht, ist mit Snipe sicher gut bera- 
ten. 

Die von Snipe abgedeckten Aspekte sind 
allerdings nicht komplett deckungsgleich 
mit dem Manuskript. Manche im Manu- 
skript vorgestellten Arten Neuronaler Net- 
ze werden von Snipe nicht unterstützt, 
während Snipe in anderen Bereichen deut- 
lich mehr Fähigkeiten hat, als im Manu- 
skript in Form von Praxistipps beschrie- 
ben werden kann (ich habe aber die 
Erfahrung gemacht, dass die allermeis- 
ten Implementierungsinteressen der Leser 
gut abgedeckt werden). Auf der Snipe- 
Downloadseite gibt es in der Rubrik „Los- 
legen mit Snipe“ eine einfache, schrittwei- 
se Einführung in Snipe und seine Doku- 
mentation, sowie einige Beispiele. 

SIMIPE: Dieses Manuskript integriert Snipe 
sehr stark. Über weite Teile des Manuskrip- 
tes hinweg finden sich abgesetzte, unter- 
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legte Textstellen wie diese, aus denen her- 
vorgeht, wie der gerade beschriebene Kon- 
text in Snipe realisiert werden kann. Wer 
Snipe nicht nutzen möchte, muss al- 
so nur diese abgesetzten Textstellen 
überspringen! Die Snipe-Textstellen set- 
zen voraus, dass man sich vorher die „Los- 
legen mit Snipe“-Anleitung auf der Down- 
loadseite zu Gemüte geführt hat. Oftmals 
werden Klassennamen verwendet; da Sni- 
pe nicht sehr viele Java-Pakete hat, habe 
ich die Paketnamen der Übersichtlichkeit 
halber nicht den Klassennamen vorange- 
stellt. 



Es ist einfach, diese Arbeit zu 
drucken 

Diese Ausarbeitung ist durchgehend farbig 
gehalten, kann jedoch auch so, wie sie ist 
monochrom gedruckt werden: Die Farben 
sind in Abbildungen, Tabellen und Text so 
gewählt, dass sie neben schönem Farbde- 
sign auch einen hervorragenden Schwarz- 
Weiss-Kontrast ergeben. 



Es sind viele Hilfsmittel im 
Text integriert 

In das Dokument sind verschiedene Hilfs- 
mittel direkt integriert, die das Lesen we- 
sentlich flexibler machen sollen: Wer (wie 
ich) lieber auf Papier liest als am Bild- 
schirm, soll sich trotzdem einiger Features 
erfreuen. 



Verschiedene Kapiteltypen sind im 
Inhalt gekennzeichnet 

Direkt im Inhaltsverzeichnis sind die Ka- 
piteltypen gekennzeichnet. Kapitel, die 
als „wichtige Grundlagen“ gekennzeichnet 
sind, sollte man definitiv zu Anfang lesen, 
denn eigentlich alle nachfolgenden Kapitel 
basieren in irgendeiner Form darauf. Ande- 
re Kapitel basieren zusätzlich auf bestimm- 
ten anderen (vorherigen) Kapiteln, auch 
hier steht eine entsprechende Bemerkung 
im Inhaltsverzeichnis neben dem Kapitel- 
titel. 

Sprechende Überschriften im Text, 
kürzere im Inhaltsverzeichnis 

Das ganze Scriptum ist nun mit sprechen- 
den Überschriften durchzogen. Sprechende 
Überschriften sind nicht nur einfach ein 
Titel wie z.B. „Bestärkendes Lernen“, son- 
dern definieren den Kernpunkt des zugehö- 
rigen Abschnitts: in diesem Fall „Bestär- 
kendes Lernen gibt dem Netz Feedback, 
ob es sich gut oder schlecht verhält“. Die 
letztere, lange Version dient hierbei als 
Überschrift, die im Text verwendet wird, 
die kürzere steht im Inhaltsverzeichnis, so 
dass dieses griffig bleibt. 

Randbemerkungen sind eine 
Navigationshilfe 

Über das ganze Dokument hinweg exis- 
tieren umgangssprachliche Randhinweise 
(siehe nebenstehendes Beispiel), an de- 
nen entlang man (unter Mitbenutzung 
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der Überschriften) durch den Text „glei- Nutzungsbedingungen und 

ten“ und Textstellen einfach wiederfinden Lizenz 

kann. 



Neue mathematische Symbole kennzeich- 
ne ich zum einfachen Wiederfinden mit 
besonderen Randhinweisen (nebenstehend 
ein Beispiel für x). 



Es gibt verschiedene Arten der 
Indizierung 

Es existieren verschiedene Arten der In- 
dizierung: Zunächst kann man einen Be- 
griff, nachdem man ihn im Index gefun- 
den und die betreffende Seite aufgeschla- 
gen hat, einfach finden, indem man nach 
hervorgehobenem Text sucht indizier- 
te Begriffe sind grundsätzlich auf diese 
Weise hervorgehoben. 

Kapitelübergreifende mathematische Sym- 
bole (wie z.B. fl für ein Outputneuron, ich 
habe mich bemüht, bei allgegenwärtig wie- 
derkehrenden Elementen eine konsistente 
Nomenklatur beizubehalten) besitzen eine 
eigene Indexkategorie unter „Mathemati- 
sche Symbole“, so dass sie einfach dem 
entsprechenden Begriff zugeordnet werden 
können. 

Personennamen, welche in KAPITÄLCHEN 
geschrieben sind, werden in der Indexkate- 
gorie „Personen“ indiziert und nach Nach- 
namen geordnet. 



Von der Epsilon-Edition an ist das 
Manuskript unter Creative Commons 
Attribution-No Derivative Works 3.0 Un- 
ported License 2 lizensiert, bis auf einige 
wenige Kleinteile, die liberaleren Lizen- 
zen unterstehen (im Wesentlichen ein paar 
Bilder, die in den Wikimedia Commons 
sind). Hier ist eine Kurzzusammenfassung 
dessen, was diese Lizenz ungefähr wieder- 
gibt: 

1. Dieses Dokument darf frei weiterver- 
breitet werden (auch wenn es eine 
bessere Idee ist, einfach die URL 
meiner Homepage weiterzuverbreiten, 
denn hier gibt es schließlich immer die 
neueste Version). 

2. Dieses Dokument darf nicht modifi- 
ziert oder als Teil eines anderen ver- 
wendet werden, insbesondere nicht für 
kommerzielle Zwecke. 

3. Dieses Dokument muss in jeglicher sei- 
ner Verwendungen dem Autor zuge- 
schrieben werden. Die Urheberschaft 
des Autors darf nicht verschleiert wer- 
den. 

4. Die o.g. Zuschreibung des Dokumen- 
tes zum Autor impliziert nicht, dass 
der Autor die Art befürwortet, auf 
die ein beliebiger Leser das Dokument 
nutzt. 



2 http : / / creativecommons . org/licenses/ 
by-nd/3 . 0/ 
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Da ich kein Anwalt bin, ist die obige 
Stichpunktzusammenfassung nur informa- 
tiv gemeint. Wenn sie in irgendeiner Form 
in Konflikt zur o.g. Creative Commons- 
Lizenz steht, so hat letztere in jedem 
Fall Vorrang. Natürlich berührt die Lizenz 
ebenfalls nicht den Source Code des Manu- 
skripts, der nicht veröffentlicht wird. 

Wie dieser Text zitiert wird 

Da dieser Text keinen offiziellen Verlag 
hat, muss man mit Referenzen sorgfäl- 
tig sein: Hierzu gibt es Informationen in 
Deutsch und Englisch auf meiner Homepa- 
ge bzw. der zum Text gehörenden Unter- 
seite 3 . 
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3 http : //www. dkriesel . com/ science/neural_ 
networks 
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reis, Gideon Maillette de Buij Wenniger, 
Philipp Woock und vielen anderen ausspre- 
chen. 

Herzlicher Dank geht an Sebastian Merz- 
bach, der die Epsilon2- Version des Skrip- 
tums auf gewissenhafteste und gründlichs- 
te Art und Weise auf Inkonsistenzen und 
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le Netze und Fachverwandtes lernte (und 
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